Популярная в Китае социальная сеть Xiaohongshu перенесла 500 Пбайт данных в облако Alibaba Cloud. На миграцию ушёл год, в переносе Alibaba помогали 1,5 тыс. сотрудников Xiaohongshu, сообщает SCMP. По имеющимся данным, предоставленным компаниями-партнёрами, речь идёт об одном из крупнейших проектов миграции данных «за всю историю». Сообщается, что «озеро данных» вмещает все структурированные и неструктурированные данные социальной платформы, собранные с момента запуска 11 лет назад.

Xiaohongshu, базирующаяся в Шанхае — крупнейшая в Китае лайфстайл-платформа, насчитывающая более 300 млн активных пользователей. Как заявила в WeChat компания Alibaba, ежедневно Xiaohongshu генерирует «невообразимые» объёмы данных. По данным облачного провайдера, успех миграции в облако предопределили тесное сотрудничество команд двух компаний, быстрое реагирование на возникающие задачи и проблемы, а также взаимно согласованные стандарты разработки.

Источник изображения: Wikipedia

Alibaba Cloud является крупнейшим облачным провайдером в Китае. Один из дата-центров компании пострадал от пожара в сентябре 2024 года, что заставило Alibaba довольно долго и очень тщательно сушить оборудование для сохранения данных. Весной компания снизила цены на облачные услуги на 55 % для Китая в попытке отвоевать клиентов у конкурентов из числа других местных игроков — Tencent, JD.com и Baidu.

Alibaba Cloud представила на своей ежегодной конференции Apsara модульную архитектуру ЦОД под названием «CUBE DC 5.0», которая, по словам компании, поможет ей удовлетворить спрос на инфраструктуру ИИ за счёт повышения производительности и сокращения времени сборки новых объектов, пишет ресурс The Register.

Согласно заявлению Alibaba Cloud, архитектура CUBE DC 5.0 основана на использовании «готовых модульных конструкций» и «передовых фирменных технологий, таких как гибридная система охлаждения (wind-liquid, воздушно-жидкостная), архитектура распределения DC-питания постоянного тока». Не раскрывая подробности используемых технологий, Alibaba Cloud сообщила, что модульный подход сокращает время развёртывания ЦОД до 50 % по сравнению с традиционными методами строительства.

The Register попросил Alibaba объяснить работу «гибридной системы охлаждения wind-liquid». Предположительно, речь идёт о СЖО с охлаждающей пластиной — метод, при котором тонкие резервуары с охлаждённой жидкостью размещаются на оборудовании, а охлаждение достигается за счёт циркуляции жидкости и/или продувки воздуха по пластинам.

Источник изображений: Alibaba Cloud

Гендиректор Alibaba Cloud Intelligence Эдди Ву (Eddie Wu) заявил, что компания «вкладывает значительные средства в создание ИИ-инфраструктуры ИИ будущего». Компания анонсировала на конференции планировщик, который позволяет улучшить управление аппаратными ресурсами, повышая коэффициент использования до 90 %.

Также было представлено IaaS-предложение Enterprise Elastic Compute Service (ECS) девятого поколения, получившее улучшения для обработки приложений ИИ. В частности, были увеличены скорость работы механизма рекомендаций на 30 % и количество запросов на чтение/запись в базу данных в секунду на 17 %. Кроме того, Alibaba Cloud анонсировала ПО Open Lake, которая объединяет несколько крупных движков данных для использования их приложениями генеративного ИИ. Ещё одно новое предложение от китайской компании — DMS: OneMeta+OneOps, которое, по-видимому, объединяет и управляет метаданными из 40 различных источников данных.

Также Alibaba Cloud сообщила о выходе новых ИИ-моделей с открытым исходным кодом семейства Qwen 2.5 и новой ИИ-модели семейства Tongyi Wanxiang для преобразования текста в видео с поддержкой китайского и английского языков.

Катастрофический пожар, произошедший во вторник на прошлой неделе в сингапурском дата-центре Digital Realty, всё ещё осложняет работу облачных операторов. The Register, в частности, сообщает, что к полноценной работе не может приступить облачный регион Alibaba Cloud — в компании ждут, когда просохнет оборудование, чтобы попытаться восстановить данные.

Согласно данным Alibaba Cloud, миграция и восстановление данных в повреждённом ЦОД SIN11 идёт по плану. Работа облачных сервисов постепенно восстанавливается. В компании подчеркнули, что часть оборудования по-прежнему находится в небезопасной и заблокированной зоне дата-центра. О возможном затоплении ряда помещений пожарные предупредили оператора заранее. Некоторое оборудование требует тщательной просушки до того, как можно будет попытаться запустить его без дополнительной угрозы целостности данных. На их восстановление уйдёт некоторое время. Из-за сбоя Alibaba Cloud, как выяснилось, пострадали и различные сервис-провайдеры, включая Lazada и ByteDance.

Источник изображения: Adam Wilson/unsplash.com

Причиной пожара, вероятно, стало возгорание Li-Ion элементов ИБП. Сообщалось, что для тушения и охлаждения АКБ пришлось задействовать пожарного робота, поскольку аккумуляторы могли повторно воспламениться, взорваться и выделить токсичные вещества. Ситуация усугублялась тем, что АКБ находились на третьем этаже четырёхэтажного ЦОД. Хотя современные нормы Сингапура предписывают размещать ИБП на первом этаже, объект Digital Realty ввели в эксплуатацию задолго до принятия этих норм. Это единственный из трёх кампусов Digital Realty в Сингапуре, созданный на основе уже имеющейся инфраструктуры. Ещё два были возведены с нуля.

Источник изображения: Daan Mooij / Unsplash

Как сообщает Alibaba Cloud, к вечеру злополучного вторника всё ещё звучала пожарная сигнализация, а некоторое сетевое оборудование функционировало со сбоями из-за высоких температур. Клиентов предупредили о возможных сбоях во всех зонах доступности данного облачного региона. В среду большинство облачных сервисов восстановили работу в результате переноса части нагрузок. В пятницу было объявлено, что часть оборудования находится «в стадии безопасной миграции». В субботу уже проводилась подготовка к установке оборудования, включая его сушку.

От грандиозного пожара в своём время пострадал ЦОД OVHCloud в Страсбурге, долгое время оператор разбирался многочисленными претензиями пользователей. В самом Сингапуре после крупного сбоя дата-центра Equinix в прошлом году власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

10 сентября 2024 года в сингапурском дата-центре Digital Realty SIN11 произошёл пожар, последствия которого ещё предстоит оценить. По информации Datacenter Dynamics, больше всех пострадало облако Alibaba Cloud, одна из зон доступности (Singapore Availability Zone C) которого была развёрнута на базе этого ЦОД. Также пострадали Lazada, ByteDance, Digital Ocean, Coolify и Cloudflare.

Пожар начался во вторник в 7:45 по местному времени. В течение получаса весь персонал был эвакуирован. Причиной пожара предварительно названо возгорание литий-ионных аккумуляторов в ИБП на третьем этаже четырёхэтажного здания. Силы гражданской обороны Сингапура (Singapore Civil Defence Force, SCDF) даже применили автономного робота в попытке охладить аккумуляторные блоки, однако в результате в отсеке и соседних помещениях стала накапливаться вода, из-за чего возник риск коротких замыканий.

В итоге пришлось экстренно отключать питание одного из зданий, что также привели к проблемам с сетевым подключением в соседних зданиях. Работы по тушению и устранению рисков заняли более суток. К вечеру среду пожарные службы всё ещё не пускали в пострадавшие помещения инженеров ЦОД и его клиентов. По словам Digital Realty, сейчас ситуация стабилизировалась, а надёжность конструкций самого здания в результате пожара не пострадала.

Источник изображения: Digital Realty

ЦОД SIN11 Digital Loyang 1 включает четыре здания общей площадью 17 тыс. м². Он был введён в эксплуатацию в 2016 году. Стандарты SCDF требуют, чтобы все системы хранения энергии (Energy Storage Systems, ESS) находились на первом этаже. При этом Digital Realty отметила, что новые правила ввели в действие с 2020 года, через четыре года после запуска SIN11.

Ранее от грандиозного пожара пострадал оператор ЦОД OVHCloud, который долго время разбирался многочисленными претензиями клиентов. Крупнейший в мире инцидент с южнокорейском ЦОД Kakao тоже произошёл из-за Li-Ion аккумуляторов. Весной 2023 года пожар в ЦОД LAX12 той же Digital Realty привёл к приостановке обслуживания части клиентов. А в самом Сингапуре после масштабного сбоя дата-центра Equinix власти пообещали жёстко отрегулировать деятельность ЦОД и облаков.

Спрос на CPU-мощности в ключевых китайских облаках Alibaba Cloud и Tencent Cloud выровнялся и теперь клиентов больше интересуют ИИ-ускорители, сообщает The Register. Рост спроса на предложения, связанные с ИИ, зарегистрировала и Lenovo.

На прошлой неделе Alibaba и Tencent опубликовали квартальную отчётность, выручка Alibaba Cloud выросла год к году на 6 % до $3,7 млрд. Tencent не раскрывает показатели гиперскейл-сегмента, но отмечает рост спроса на облачные сервисы, благодаря чему квартальные показатели подразделения Business Services выросли год к году на «десятки процентов».

Представитель Tencent объявил инвесторам, что бизнес по аренде ИИ-ускорителей переживает настоящий бум. Впрочем, абсолютные показатели достаточно скромные в сравнении с американским рынком, поскольку у КНР меньше хорошо финансируемых ИИ-стартапов. По некоторым данным, местные стартапы часто располагают $1–$2 млрд, тогда как в США объём инвестиций может достигать и $10–$90 млрд. Tencent в любом случае не теряет клиентов даже на фоне замещения CPU на GPU.

В Alibaba сообщают, что спрос на ИИ-продукты и связанные технологии очень большой, причём он всё ещё далёк от удовлетворения. Для Alibaba Cloud во II половине 2024 года прогнозируется двузначный рост в процентах и большая часть выручки придётся на ИИ-продукты. При этом в Alibaba констатируют, что спрос на традиционные вычисления в облаке на базе классических процессоров ограничен, большая часть роста связана именно с ИИ-продуктами на основе ускорителей.

Источник изображения: Growtika/unsplash.com

В Lenovo тоже сообщили, что в подразделении Infrastructure Solutions Group (ISG) зарегистрирован рекордный рост выручки до $3,2 млрд — это на 65 % выше год к году, частично благодаря спросу на ИИ-решения, причём и на базе обычных серверов, и на базе систем с ИИ-ускорителями. Инвесторам объявили, что оживлённые вложения в ИИ-инфраструктуру и улучшение поставок ускорителей помогут компании вырасти.

Пока же ISG отчиталась о квартальных убытках в объёме $37 млн. Впрочем, это лучше, чем $60,4 млн убытков в аналогичном квартале прошлого года и $97 млн в прошлом квартале. В ходе отчёта экспертов заинтересовало, почему рост выручки на 65 % не привёл к прибыльности соответствующего бизнеса. В самой компании обещают дальнейшую оптимизацию бизнеса в соответствии с требованиями эры гибридных и ИИ-вычислений. Другими словами, не исключены увольнения и/или сокращение продуктовых линеек.

Alibaba Group Holding Limited сообщила финансовые результаты II квартала 2024 года, закончившегося 30 июня. Выручка компании выросла год к году на 4 % до ¥243,2 млрд ($33,5 млрд). Чистая прибыль (GAAP) составила ¥24,0 млрд ($3,3 млрд) или ¥1,24 ($0,17) на акцию, что на 27 % и 26 % меньше по сравнению с прошлым годом соответственно, в основном из-за снижения доходов от операций и обесценивания инвестиций.

Скорректированная чистая прибыль (Non-GAAP) за квартал составила ¥40,7 млрд ($5,6 млрд), что на 9 % меньше результата за II квартал 2023 года. Скорректированная разводнённая прибыль на акцию (Non-GAAP) составила ¥2,05 ($0,28) — снижение год к году на 5 %.

Источник изображений: Alibaba

Облачное подразделение Cloud Intelligence Group увеличило выручку на 6 % — с ¥25,1 млрд во II квартале 2023 года до ¥26, 5 млрд ($3,7 млрд) в отчётном. EBITA подразделения облачных вычислений выросла на 155 % в годовом исчислении до ¥2,3 млрд ($322,15 млн). Было отмечено, что в основном рост показателей был достигнут благодаря ИИ-услугам.

Гендиректор Alibaba Эдди Ву (Eddie Wu) сообщил, что во II половине 2024 года Alibaba Cloud покажет двузначный рост в процентах, причём большая его часть будет обеспечена за счёт решений ИИ. «Среди наших клиентов наблюдается очень, очень высокий спрос на ИИ и продукты, связанные с ИИ», — отметил он, добавив, что «спрос всё ещё далёк от удовлетворения». Ву сообщил, что, если рассматривать отрасль в целом, спрос на традиционные облачные вычисления на базе CPU относительно ограничен, и большая часть роста сейчас достигается благодаря разработке продуктов ИИ на базе GPU/ускорителей.

Гендиректор подчеркнул, что во II квартале рост выручки от реализации продуктов, связанных с ИИ, исчислялся трёхзначными числами в процентах. Он сообщил, что фирменные большие языковые модели (LLM) Alibaba получают всё более широкое распространение. В этом году Alibaba Cloud также выступила в качестве основного поставщика облачных услуг для Олимпийских игр, предоставив облачные вычисления и ИИ-услуги для Olympic Broadcasting Services (OBS).

Ву сообщил, что компания продолжит инвестировать в ИИ высокими темпами «в течение следующих нескольких кварталов». В этом году Alibaba снизила стоимость своих облачных сервисов, причём в некоторых случаях снижение для китайских клиентов составило 55 %, что позволило ей вернуть клиентов, ушедших ранее к конкурентам, таким как Tencent, JD.com и Baidu.

Alibaba Cloud раскрыла ряд сведений технического характера, касающихся сетевой инфраструктуры и устройства своих дата-центров, занятых обработкой ИИ-нагрузок, в частности, обслуживанием LLM. Один из ведущих инженеров компании, Эньнань Чжай (Ennan Zhai), опубликовал доклад «Alibaba HPN: A Data Center Network for Large Language Model Training», который будет представлен на конференции SIGCOMM в августе этого года.

В качестве основы для сетевой фабрики Alibaba Cloud выбрала Ethernet, а не, например, InfiniBand. Новая платформа используется при обучении масштабных LLM уже в течение восьми месяцев. Выбор обусловлен открытостью и универсальностью стека технологий Ethernet, что позволяет не привязываться к конкретному вендору. Кроме того, меньше шансы пострадать от очередных санкций США.

Отмечается, что традиционный облачный трафик состоит из множества относительно небыстрых потоков (к примеру, менее 10 Гбит/с), тогда как трафик при обучении LLM включает относительно немного потоков, имеющих периодический характер со всплесками скорости до очень высоких значений (400 Гбит/с). При такой картине требуются новые подходы к управлению трафиком, поскольку традиционные алгоритмы балансировки склонны к перегрузке отдельных участков сети.

Источник здесь и далее: Alibaba Cloud

Разработанная Alibaba Cloud альтернатива носит название High Performance Network (HPN). Она учитывает многие аспекты работы именно с LLM. Например, при обучении важна синхронизация работы многих ускорителей, что делает сетевую инфраструктуру уязвимой даже к единичным точкам отказа, особенно на уровне внутристоечных коммутаторов. Alibaba Cloud использует для решения этой проблемы парные коммутаторы, но не в стековой конфигурации, рекомендуемой производителями.

Характер трафика при обучении LLM

Каждый хост содержит восемь ИИ-ускорителей и девять сетевых адаптеров. Каждый из NIC имеет по паре портов 200GbE. Девятый адаптер нужен для служебной сети. Между собой внутри хоста ускорители общаются посредством NVLink на скорости 400–900 Гбайт/с, а для общения с внешним миром каждому из них полагается свой 400GbE-канал с поддержкой RDMA. При этом порты сетевых адаптеров подключены к разным коммутаторам из «стоечной пары», что серьёзно уменьшает вероятность отказа.

В докладе говорится, что Alibaba Cloud использует современные одночиповые коммутаторы с пропускной способностью 51,2 Тбит/с. Этим условиям отвечают либо устройства на базе Broadcom Tomahawk 5 (март 2023 года), либо Cisco Silicon One G200 (июнь того же года). Судя по использованию выражения «начало 2023 года», речь идёт именно об ASIC Broadcom.

Своё предпочтение именно одночиповых коммутаторов компания объясняет просто: хотя многочиповые решения с большей пропускной способностью существуют, в долгосрочной перспективе они менее надёжны и стабильны в работе. Статистика показывает, что аппаратные проблемы у подобных коммутаторов возникают в 3,77 раза чаще, нежели у одночиповых.

Одночиповые решения класса 51,2 Тбит/с выделяют много тепла, но ни один поставщик оборудования не смог предложить Alibaba Cloud готовые решения, способные удерживать температуру ASIC в пределах 105 °C. Выше этого порога срабатывает автоматическая защита. Поэтому для охлаждения коммутаторов Alibaba Cloud создала собственное решение на базе испарительных камер.

Сетевая фабрика позволяет создавать кластеры, каждый из которых содержит 15360 ускорителей и располагается в отдельном здании ЦОД. Такое высокоплотное размещение позволяет использовать оптические кабели длиной менее 100 м и более дешёвые многомодовые трансиверы, которые дешевле одномодовых примерно на 70 %. Ёмкость такого дата-центра составляет около 18 МВт.

Но есть у HPN и недостаток: использование топологии с двумя внутристоечными коммутаторами и другие особенности архитектуры усложняют кабельную подсистему, поэтому инженеры поначалу столкнулись с ростом ошибок при подключении сетевых интерфейсов. В настоящее время активно используются тесты, позволяющие проверить каждое подключение на соответствие идентификаторов портов и коммутаторов рабочим схемам.

Отмечается, что параметры Ethernet-коммутаторов удваиваются каждые два года, поэтому компания уже разрабатывает сетевую архитектуру следующего поколения, рассчитанную на применение будущих ASIC 102,4 Тбит/с. По словам Alibaba Cloud, обучение LLM с сотнями миллиардов параметров потребует огромного распределённого кластера, количество ускорителей в котором исчисляется миллионами. И ему требуется соответствующая сетевая инфраструктура.

Облачная платформа Alibaba Cloud, по сообщению ресурса Datacenter Dynamics, намерена закрыть ЦОД в Австралии и Индии. Речь идёт о площадках в Сиднее и Мумбаи, работа которых будет свёрнута до конца текущего года. Решение связано с изменением стратегии по развитию инфраструктуры дата-центров.

Alibaba Cloud запустила облачный регион в Сиднее в 2016 году: на сегодняшний день он имеет две зоны доступности. Регион в Мумбаи был открыт в 2018 году и также включает две зоны доступности. ЦОД в Индии прекратят работу уже 15 июля, а объекты в Австралии — 30 сентября 2024 года. Alibaba Cloud рекомендует всем клиентам этих дата-центров при первой возможности перенести свои рабочие нагрузки на площадки компании в Сингапуре или в других регионах.

После сворачивания деятельности в Австралии и Индии усилия компании будут направлены на развитие облачного бизнеса в Юго-Восточной Азии и Мексике. В частности, в мае Alibaba Cloud объявила о планах по формированию мексиканского региона, а также заявила, что в ближайшие три года создаст дополнительные ЦОД на некоторых рынках присутствия, включая Малайзию, Филиппины, Таиланд и Южную Корею.

Источник изображения: Alibaba

Индонезия, Малайзия и Таиланд в последнее время смогли привлечь миллиарды долларов инвестиций на развитие ЦОД как от американских, так и азиатских операторов и гиперскейлеров. Индийскому рынку дата-центров тоже предрекают стремительный рост, а вот Сингапур, похоже, вскоре может потерять статус не только регионального, но и международного лидера индустрии ЦОД.

Осенью прошлого года Alibaba объявила о намерении привлечь $3 млрд для развития облачного бизнеса. Компания рассчитывала провести масштабную реорганизацию, в ходе которой на базе облачных активов планировалось создать отдельную структуру. Однако впоследствии от этой инициативы пришлось отказаться в связи с американскими санкциями в отношении Китая. В целом, Alibaba Cloud управляет 89 зонами доступности в 30 регионах мира.

Подразделение системного интегратора Telkom Group, компания BCX, объединила усилия с Alibaba для организации облачных сервисов Alibaba Cloud в Мозамбике. По данным Datacenter Dynamics, BCX обеспечит хостинг т.н. Africa Local Public (ALP) Cloud в дата-центре в Мапуту.

По словам главы BCX, сотрудничество с Alibaba Cloud позволяет предоставлять новейшие технологии при посредничестве местной компании, которая понимает сложности и особенности ведения бизнеса на африканском континенте. В BCX признают чрезвычайную важность цифрового суверенитета для мозамбикского бизнеса, поэтому BCX и запустила облако ALP Cloud в Мапуту. Говорится о нескольких зонах доступности, местной службе поддержки и возможности оплаты в местной валюте.

Источник изображения: Rohan Reddy/unsplash.com

Это уже вторая африканская страна, где появились облачные сервисы Africa Local Public Cloud компании Alibaba. Запуск в Южной Африке состоялся ещё в октябре 2023 года. Китайская компания разместила свои сервисы в двух южноафриканских ЦОД, создав две зоны доступности — в ЦОД BCX в Мидранде и принадлежащем Teraco Data Environment дата-центре в Исандо. Следующий этап внедрения ALP Cloud предусматривает создание зоны доступности в ЦОД в Кейптауне. Также в Южной Африке предлагают свои облачные сервисы Microsoft Azure, Amazon (AWS) и Google.

BCX, основанная в 1996 году как Business Connexion, считается одним из крупнейших системных интеграторов в Африке, Telkom Group купила бизнес в 2015 году. BCX анонсировала партнёрство с Alibaba в октябре 2022 года — африканскому контрагенту дали эксклюзивные права распространять продукты и сервисы Alibaba Cloud в Южной Африке. Сегодня Alibaba управляет 89 зонами доступности в 30 регионах по всему миру.

Облачная платформа Alibaba Cloud, по сообщению ресурса The Register, раскрыла аппаратную конфигурацию сетевого оборудования, которое используется на периферии. Речь идёт об устройствах под названием LuoShen, которые рассматриваются в качестве «серверов-коммутаторов».

Источник изображения: Alibaba

Отмечается, что изделия LuoShen находятся в производстве приблизительно два года. На сегодняшний день они эксплуатируются на «сотнях периферийных площадок» в составе облачной инфраструктуры Alibaba Cloud.

LuoShen имеет форм-фактор 2U. Конструкция включает два CPU общего назначения, FPGA, а также чип Intel Tofino — интегральную схему специального назначения (ASIC) с возможностью программирования. Tofino представляет собой сетевой Ethernet-процессор, ориентированный на дата-центры.

Утверждается, что LuoShen обеспечивает пропускную способность до 1,2 Тбит/с. Чип Tofino отвечает за перераспределение 64 портов 100G под различные цели. Это, в частности, обработка трафика виртуальных машин, интернет-трафика и пр. В зависимости от выполняемых задач данные направляются к CPU и FPGA, а после обработки отправляются в конечную точку.

Отмечается, что устройствам LuoShen приходится обрабатывать трафик разных типов, а поэтому возможность программирования Tofino имела для Alibaba Cloud ключевое значение — облачная платформа смогла оптимизировать работу оборудования под собственные нужды. Благодаря переходу на LuoShen компания смогла сократить первоначальные затраты, занимаемое место и энергопотребление на 75 %, 87 % и 60 % соответственно по сравнению с ранее использовавшейся сетевой архитектурой.